Lê Văn Hưu là người làng Phủ Lý (tên nôm là Kẻ Rị), huyện Đông Sơn, tỉnh Thanh Hóa, nay thuộc xã Thiệu Trung, huyện Thiệu Hóa, tỉnh Thanh Hóa.

Một giai thoại về Lê Văn Hưu thuở bé:

Một hôm đi ngang qua lò rèn, thấy người ta đang làm những cái dùi sắt, Lê Văn Hưu muốn xin một cái để làm dùi đóng sách. Người thợ rèn thấy vậy, bèn ra một vế đối:- Than trong lò, sắt trong lò, lửa trong lò, thổi phì phò đúc nên dùi sắt.Lê Văn Hưu liền đối:- Nghiên ở túi, bút ở túi, giấy ở túi, viết lúi húi giành lấy khôi nguyên.